Opérations d’infiltration : comment l’IA suralimente les escroqueries sentimentales

Je travaille dans le secteur depuis plus de 20 ans et à ce titre, j’ai vu ma part d’escroqueries en ligne. Mais c’est le genre d’histoire que l’on entend et que l’on a du mal à croire. Lors de la dernière conférence RSA sur la cybersécurité, un de mes collègues, quelqu’un qui vit et respire sécurité numérique, un CISO, a admis avoir été victime d’une arnaque sentimentale en ligne. Ce à quoi j’ai pensé en premier, c’est comment ? Comment quelqu’un d’aussi attentif aux risques, qui passe sa vie à identifier les signaux d’alerte et à mettre en place des contrôles techniques, peut-il, en connaissant toutes les astuces classiques, finir par tomber dans le panneau ?

Sa réponse a été un signal d’alarme pour nous tous. Il avait tout fait dans les règles de l’art, du moins c’est ce qu’il pensait. Il a vérifié les signes habituels, mais l’escroc à l’autre bout de l’écran avait un nouvel outil puissant dans son arsenal : un appel vidéo deepfake convaincant. Cette brève interaction « en direct » a suffi à établir une base de confiance. Il s’en est suivi une perte financière douloureuse.

Son histoire m’a fait bondir. Il est clair que les anciennes règles ne suffisent plus. On ne joue plus au même jeu. À l’instar des auteurs de cybermenace qui s’équipent avec les technologies d’IA, leurs « camarades » escrocs passent également au niveau supérieur avec l’IA. Pour savoir dans quelle mesure, j’ai décidé de me cacher, de créer un profil honeypot, de voir ce que font réellement les escrocs modernes et quelles tactiques, techniques et procédures, ou « TTP », ils utilisent.

Préparer l'appât

Pour comprendre l’ennemi, il faut entrer dans son monde. J’ai créé un profil conçu pour être un appât irrésistible : un surfeur de 40 ans, musclé et bien éduqué, vivant son rêve en Australie et à la recherche d’une relation sérieuse. À l’aide de mes propres outils d’IA, j’ai généré des photos de profil et affiné la biographie pour attirer autant d’escrocs que possible sur les principaux sites de rencontres internationaux (à l’exception des sites locaux typiques de « drague »).

Les résultats ont été immédiats et révélateurs. J’y ai trouvé un mélange des mêmes vieux trucs, désormais suralimentés par la nouvelle technologie, et une cascade de « slop » d’IA.

Les signaux d’alarme classiques sont toujours présents

Tout d’abord, soyons clairs : les tactiques classiques n’ont pas disparu. Elles sont à la base de presque toutes les escroqueries. Dans le cadre de mon expérience, ce qui était facile à atteindre avait un caractère universel.

Sur 12 interactions directes avec des escrocs, chacune d’elles :

était le reflet de la biographie de mon profil : ils ont habilement adapté leurs conversations à mes centres d’intérêt et désirs inventés, créant ainsi un lien « trop beau pour être vrai ». C’est le plus vieux truc du monde : vous faire croire que vous avez trouvé l’âme sœur.
a essayé de déplacer le chat hors de l’application de rencontre : c’est un signal d’alarme majeur. Les 12 escrocs ont voulu rapidement passer à des applications de messagerie moins sécurisées et plus anonymes. Parmi les plus populaires : WhatsApp (utilisé par 6 des 12 escrocs), suivi de Telegram, Signal, Discord, Zangi, Google Chat et les e-mails. Cette démarche vise à vous isoler des fonctions de sécurité et de signalement de la plateforme de rencontres et à vous faire pénétrer davantage dans leur univers.
a subtilement extrait des informations personnelles : les conversations étaient un véritable cours d’ingénierie sociale. Ils ne se sont pas contentés de me poser des questions sur ma journée ; ils ont cherché à obtenir des informations sur les membres de ma famille, mon travail, mon lieu de résidence et ma vie qui pourraient être utilisés contre moi ; ils ont établi un profil qu’ils pourraient réutiliser s’ils décidaient d’usurper mon identité ou de me contraindre à effectuer des paiements directs pour un simulacre quelconque.

Jusqu’à alors, il convient de noter que les comportements peuvent tous être expliqués comme étant classiques et compréhensibles pour quelqu’un qui cherche simplement et honnêtement à trouver l’âme sœur. Mais ils sont devenus moins acceptables :

Ils sont devenus agressifs lorsqu’on les défiait : lorsque je commençais à les repousser ou à mettre en doute leurs histoires, ils changeaient de comportement. Ils essayaient de discuter, de me culpabiliser et de manipuler mes émotions pour reprendre le contrôle.
Ils ont refusé ou ont trouvé une excuse pour toute vérification directe : le refus classique de confirmer leur identité était un fil conducteur (sauf dans deux cas abordés ci-dessous). La plupart d’entre eux ont trouvé d’innombrables excuses pour éviter un appel vidéo ou refuser une demande simple et singulière, comme envoyer un selfie instantané en se touchant le nez ou en prenant une pose originale.

Le nouvel arsenal : la tromperie alimentée par l’IA

C’est là que les choses deviennent effrayantes. Les escrocs utilisent désormais l’IA pour rendre leurs arnaques plus crédibles et plus évolutives. Ce n’est pas de la science-fiction ; cela se passe en ce moment même. Regardons-y de plus près :

Conversations générées par l’IA : dans le cadre de mon expérience, 11 escrocs sur 12 ont utilisé l’IA, comme ChatGPT, pour rédiger leurs messages et leur permettre de se déployer massivement vers leurs cibles. Les conversations semblaient naturelles, intéressantes et intelligentes sur le plan émotionnel parce qu’elles étaient toutes ajustées par un modèle de langage sophistiqué. Conseil de pro : vous pouvez combattre le feu par le feu. Si une conversation vous semble un peu trop parfaite, copiez et collez le texte dans un outil qui détecte la rédaction par l’IA, tel que phrasly.ai. Cela peut vous aider à déterminer si vous parlez à une personne, à un bot ou à un LLM.
Photos générées par l’IA pour la vérification : lorsque j’ai poussé un escroc à prendre un selfie singulier, il n’a pas simplement refusé. Il a renvoyé une photo qui, à première vue, semblait légitime. Mais en y regardant de plus près, il s’agissait clairement d’une image générée par l’IA, probablement un composite de photos volées et mélangées pour répondre à ma demande. Conseil de pro : ils utilisent activement l’IA pour contourner les tests de « preuve de vie » auxquels on nous a appris à nous fier, mais il existe des outils en ligne que vous pouvez télécharger pour vérifier que les photos n’ont pas été mélangées par l’IA, tels que WasItAI ou Decopy AI.
Appels vidéo deepfake : c’est ce qui a changé la donne et qui a trompé mon collègue : l’un des escrocs avec qui j’ai échangé a accepté de passer un appel vidéo. Pendant environ 20 secondes, j’ai vu une personne qui correspondait parfaitement aux photos de profil. Son visage était presque parfaitement truqué. La vidéo était lente et ils ont rapidement blâmé une « mauvaise connexion » avant de raccrocher, mais ces quelques secondes étaient incroyablement convaincantes et il est compréhensible qu’elles aient pu contribuer grandement à établir la confiance. Conseil de pro: la technologie est là, et elle sert à faire tomber notre dernière ligne de défense : la vérification visuelle. Mais il faut l’affiner davantage. Il y a quelques vérifications à faire : observez le mouvement des yeux, les formes qui tremblent à l’écran, les clignements anormaux, le scintillement autour des yeux et les éclairages ou ombres étranges.

L’inévitable question : votre argent, pas votre cœur.

Quelle que soit la méthode, la finalité est toujours la même. Chaque escroc a fini par inventer une histoire larmoyante destinée à toucher les cordes sensibles et à ouvrir le portefeuille. Les demandes variaient, mais les thèmes étaient les mêmes :

Une opportunité d’investissement en crypto-monnaie à ne pas manquer : une invitation à tirer parti d’OnaChain et à partager leur pool de minage pour un DefiFund ;
Une demande d’aide à payer leur loyer pour éviter l’expulsion ;
Un besoin urgent de fonds pour un membre de la famille malade ou mourant à l’hôpital ;
Une demande d’achat de cartes-cadeaux Apple ;
L’utilisation de paiements ponctuels en crypto-monnaie (Conbase) pour des escroqueries de type BookingID.

Comment se protéger ou protéger les autres à l’ère de l’IA

L’essor des rencontres en ligne combiné à l’accessibilité de l’IA est en train de créer une véritable tempête. Cela prend tout le monde au dépourvu, qu’il s’agisse du grand public ou des professionnels de la technologie. Nous avons besoin d’un nouveau niveau d’enseignement, au-delà des classiques.

Ne faites pas confiance avant d’avoir effectué toutes les vérifications nécessaires : ne jugez rien sur les apparences. Un appel vidéo court et peu fluide n’est plus une preuve de quoi que ce soit. Insistez pour avoir un appel plus long et plus clair. Demandez-leur de faire quelque chose d’imprévisible devant la caméra, comme écrire votre nom sur une feuille de papier, toucher leur visage pour démasquer une fausse IA, tout en ayant conscience que même ces méthodes de vérification présentent encore des failles. Les outils d’IA finiront rapidement par rendre n’importe quel test numérique plus facile à réussir (à moins que vous ne commenciez à utiliser des services MFA financés par l’État dans votre vie amoureuse), de sorte que la vérification de l’identité dans une situation réelle hors ligne est susceptible de devenir de plus en plus importante.
Utilisez des détecteurs d’IA : si la conversation semble parfaite et « trop pertinente », soumettez leurs messages à un outil de détection de texte IA. C’est une simple vérification qui peut révéler la vérité ou l’utilisation d’un bot à l’autre bout.
Posez des questions très spécifiques : les réponses des escrocs étrangers de type « slop » qui sont générées par l’IA trébuchent souvent sur des connaissances locales spécialisées. L’escroc qui prétendait aimer faire du snowboard au Canada, mais qui a désigné Miami, en Floride, comme lieu de villégiature préféré, en est un parfait exemple. Posez-leur des questions sur un café local, une rue particulière ou un événement régional.
Faites attention aux signaux classiques : les vieux signaux d’alarme restent votre première ligne de défense. Ne déplacez jamais la conversation hors de la plateforme de façon immédiate, ne partagez jamais d’informations personnelles détaillées et n’envoyez jamais d’argent à quelqu’un que vous n’avez jamais rencontré et avec qui vous n’entretenez pas de relation dans le monde réel.
Demandez-leur une rencontre en personne : dites-leur que vous êtes en ville (à l’endroit où ils se trouvent) et demandez à les rencontrer en personne. Cela leur force généralement la main et les met dans une position de gêne et de réfutation rapide (voir ci-dessus).
Utilisez votre propre IA pour effectuer des « recherches approfondies » : effectuer votre propre OSINT IA sur les informations que vous avez obtenues auprès de la personne (qu’il s’agisse de fils d’Ariane ou de noms et lieux que vous avez trouvés en ligne) permet de faire le tri dans les utilisateurs légitimes. La fonctionnalité de « recherche approfondie » de Gemini s’est avérée très efficace pour jouer les détectives sur un individu, en fouillant dans de nombreux sites, dans les registres publics et les archives, ainsi que dans divers messages communautaires, le tout grâce à une série d’invites bien conçues.
Faites appel à des sociétés indépendantes de détection des faux profils sociaux lorsque vous n’avez pas de certitude absolue : si tout le reste échoue, il existe de nombreuses sociétés indépendantes qui effectuent des vérifications tierces (payantes) en s’appuyant sur des bases de données connues de faux profils et sur d’autres mesures. L’amour véritable n’a pas de prix.

L’IA a rendu le monde des escroqueries sentimentales plus complexe, mais elle ne les a pas rendues imbattables. En nous tenant informés et en restant vigilants, en apprenant les nouvelles TTP et en exploitant l’IA pour contrer les escroqueries alimentées par l’IA, nous pouvons apprendre à repérer le « fantôme dans la machine » et à protéger nos cœurs et nos portefeuilles.

En partageant l’expérience de mon collègue et les leçons apprises, j’espère sensibiliser aux dangers des escroqueries sentimentales basées sur l’IA et vous donner les moyens de vous protéger, vous et vos proches. Restez prudents en ligne !

Si vous souhaitez en savoir plus sur la façon dont les acteurs malveillants peuvent exploiter les vulnérabilités liées au romantisme, consultez le blog Comment une vulnérabilité peut faire de vous une victime le jour de la Saint-Valentin.